Pesos de Contribución: Análisis Geométrico de Transformers de Autoatención
Los Pesos de Contribución ofrecen una métrica más fiel que la atención para identificar tokens clave en LLMs. Revelan el rol activo de los sinks de atención.
#análisis mecanicista
Cuando los tokens de grafo se hunden: análisis mecanicista
Los tokens de grafo tienen alta activación pero baja utilidad semántica. Este análisis mecanicista revela la desconexión en modelos de lenguaje de grafos.